Weakly-supervised text classification aims to train a classifier using only class descriptions and unlabeled data. Recent research shows that keyword-driven methods can achieve state-of-the-art performance on various tasks. However, these methods not only rely on carefully-crafted class descriptions to obtain class-specific keywords but also require substantial amount of unlabeled data and takes a long time to train. This paper proposes FastClass, an efficient weakly-supervised classification approach. It uses dense text representation to retrieve class-relevant documents from external unlabeled corpus and selects an optimal subset to train a classifier. Compared to keyword-driven methods, our approach is less reliant on initial class descriptions as it no longer needs to expand each class description into a set of class-specific keywords. Experiments on a wide range of classification tasks show that the proposed approach frequently outperforms keyword-driven models in terms of classification accuracy and often enjoys orders-of-magnitude faster training speed.
translated by 谷歌翻译
Neural Radiance Field (NeRF) has revolutionized free viewpoint rendering tasks and achieved impressive results. However, the efficiency and accuracy problems hinder its wide applications. To address these issues, we propose Geometry-Aware Generalized Neural Radiance Field (GARF) with a geometry-aware dynamic sampling (GADS) strategy to perform real-time novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalized NeRFs, our framework infers the unseen scenes on both pixel-scale and geometry-scale with only a few input images. More specifically, our method learns common attributes of novel-view synthesis by an encoder-decoder structure and a point-level learnable multi-view feature fusion module which helps avoid occlusion. To preserve scene characteristics in the generalized model, we introduce an unsupervised depth estimation module to derive the coarse geometry, narrow down the ray sampling interval to proximity space of the estimated surface and sample in expectation maximum position, constituting Geometry-Aware Dynamic Sampling strategy (GADS). Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist more informative representation learning. Extensive experiments on indoor and outdoor datasets show that comparing with state-of-the-art generalized NeRF methods, GARF reduces samples by more than 25\%, while improving rendering quality and 3D geometry estimation.
translated by 谷歌翻译
Data-efficient learning on graphs (GEL) is essential in real-world applications. Existing GEL methods focus on learning useful representations for nodes, edges, or entire graphs with ``small'' labeled data. But the problem of data-efficient learning for subgraph prediction has not been explored. The challenges of this problem lie in the following aspects: 1) It is crucial for subgraphs to learn positional features to acquire structural information in the base graph in which they exist. Although the existing subgraph neural network method is capable of learning disentangled position encodings, the overall computational complexity is very high. 2) Prevailing graph augmentation methods for GEL, including rule-based, sample-based, adaptive, and automated methods, are not suitable for augmenting subgraphs because a subgraph contains fewer nodes but richer information such as position, neighbor, and structure. Subgraph augmentation is more susceptible to undesirable perturbations. 3) Only a small number of nodes in the base graph are contained in subgraphs, which leads to a potential ``bias'' problem that the subgraph representation learning is dominated by these ``hot'' nodes. By contrast, the remaining nodes fail to be fully learned, which reduces the generalization ability of subgraph representation learning. In this paper, we aim to address the challenges above and propose a Position-Aware Data-Efficient Learning framework for subgraph neural networks called PADEL. Specifically, we propose a novel node position encoding method that is anchor-free, and design a new generative subgraph augmentation method based on a diffused variational subgraph autoencoder, and we propose exploratory and exploitable views for subgraph contrastive learning. Extensive experiment results on three real-world datasets show the superiority of our proposed method over state-of-the-art baselines.
translated by 谷歌翻译
近年来,在自学学习(SSL)方面取得了重大成功,这有助于各种下游任务。但是,攻击者可能会窃取此类SSL模型并将其商业化以获利,这对于保护其知识产权(IP)至关重要。大多数现有的IP保护解决方案都是为监督学习模型而设计的,不能直接使用,因为它们要求模型的下游任务和目标标签在水印嵌入过程中已知并获得,这在SSL的域中并非总是可以的。为了解决此类问题,尤其是在水印嵌入过程中下游任务多样化且未知时,我们提出了一种新型的黑盒水印解决方案,名为SSL-WM,以保护SSL模型的所有权。 SSL-WM将水印编码器的水印输入映射到不变的表示空间中,该空间会导致任何下游分类器产生预期的行为,从而允许检测到嵌入式水印。我们使用不同的SSL模型(包括基于对比度和基于生成的生成型)来评估许多任务,例如计算机视觉(CV)和自然语言处理(NLP)等许多任务。实验结果表明,SSL-WM可以有效地验证各种下游任务中被盗SSL模型的所有权。此外,SSL-WM对模型进行微调和修剪攻击非常强大。最后,SSL-WM还可以从评估的水印检测方法中逃避检测,从而证明了其在保护SSL模型IP时的有希望的应用。
translated by 谷歌翻译
在监督的机器学习中,使用正确的标签对于确保高精度非常重要。不幸的是,大多数数据集都包含损坏的标签。在此类数据集上训练的机器学习模型不能很好地概括。因此,检测其标签错误可以显着提高其功效。我们提出了一个名为CTRL的新型框架(标签错误检测的聚类训练损失),以检测多级数据集中的标签错误。它基于模型以不同方式学习干净和嘈杂的标签的观察结果,以两个步骤检测标签错误。首先,我们使用嘈杂的训练数据集训练神经网络,并为每个样本获得损失曲线。然后,我们将聚类算法应用于训练损失,将样本分为两类:已标记和噪声标记。标签误差检测后,我们删除带有嘈杂标签的样品并重新训练该模型。我们的实验结果表明,在模拟噪声下,图像(CIFAR-10和CIFAR-100和CIFAR-100)和表格数据集上的最新误差检测准确性。我们还使用理论分析来提供有关CTRL表现如此出色的见解。
translated by 谷歌翻译
随着深度神经网络(DNN)的广泛应用,后门攻击逐渐引起了人们的关注。后门攻击是阴险的,中毒模型在良性样本上的表现良好,只有在给定特定输入时才会触发,这会导致神经网络产生不正确的输出。最先进的后门攻击工作是通过数据中毒(即攻击者注入中毒样品中的数据集中)实施的,并且用该数据集训练的模型被后门感染。但是,当前研究中使用的大多数触发因素都是在一小部分图像上修补的固定图案,并且经常被明显错误地标记,这很容易被人类或防御方法(例如神经清洁和前哨)检测到。同样,DNN很难在没有标记的情况下学习,因为它们可能会忽略小图案。在本文中,我们提出了一种基于频域的广义后门攻击方法,该方法可以实现后门植入而不会错标和访问训练过程。它是人类看不见的,能够逃避常用的防御方法。我们在三个数据集(CIFAR-10,STL-10和GTSRB)的无标签和清洁标签案例中评估了我们的方法。结果表明,我们的方法可以在所有任务上实现高攻击成功率(高于90%),而不会在主要任务上进行大量绩效降解。此外,我们评估了我们的方法的旁路性能,以进行各种防御措施,包括检测训练数据(即激活聚类),输入的预处理(即过滤),检测输入(即Sentinet)和检测模型(即神经清洁)。实验结果表明,我们的方法对这种防御能力表现出极好的鲁棒性。
translated by 谷歌翻译
概念相关性估计(CRE)任务是确定两个给定的概念是否相关。尽管可以轻松适应此任务的语义文本相似性(STS)任务的现有方法,但CRE任务具有一些独特的属性,可以利用这些属性来扩大数据集以解决其数据稀缺问题。在本文中,我们构造了一个名为CycreteGraph(概念相关性估计图)的图,以利用CRE属性。对于从混凝土图中采样的新概念对,我们添加了一个额外的步骤,以基于简单但有效的质量阈值来滤除低质量的新概念对。我们将ConcreteGraph数据扩展应用于三个基于变压器的模型以显示其功效。详细的消融研究用于质量阈值进一步表明,即使有限的高质量数据也比大量未替代数据更有益。本文是第一个在数据集上使用的文章,而建议的具体图可以提高变压器的准确性超过2%。在CNSE和CNSS数据集上,所有三个变压器都借助ConcreteGraph,均可超越当前最先进的方法,概念交互图(CIG)。
translated by 谷歌翻译
确定复杂系统背后的因果关系在不同领域(例如决策,政策实施和管理建议)中起着重要作用。但是,关于时间事件序列数据的现有因果关系研究主要集中于单个因果发现,这是无法利用合并因果关系的。为了填补在时间事件序列数据上发现发现的合并原因,消除和募集原则被定义以平衡因果组合的有效性和可控性。我们还基于反应点过程来利用Granger因果关系算法来描述实体之间的燃料或抑制行为模式。此外,我们设计了“电动电路”的信息性和美学视觉隐喻,以编码汇总因果关系,以确保我们的因果关系可视化是非重叠和不相互作用的。各种排序策略和聚合布局也嵌入了我们基于平行的,定向和加权的超图中,以说明合并因果关系。我们开发的合并因果关系视觉分析系统可以帮助用户有效地探索合并的原因以及个人原因。这种交互式系统支持多样化的订购策略以及重点和上下文技术,以帮助用户获得不同级别的信息抽象。通过进行试验用户研究和事件序列数据的两项案例研究,进一步评估了系统的有用性和有效性。
translated by 谷歌翻译
第六版的AI城市挑战赛特别关注了两个领域的问题,在计算机视觉和人工智能的交集中具有巨大的解锁潜力:智能交通系统(ITS),以及实体和砂浆零售业务。 2022年AI City Challenge的四个挑战赛收到了来自27个国家 /地区254个团队的参与请求。轨道1地址的城市规模多目标多摄像机(MTMC)车辆跟踪。轨道2地址为基于天然语言的车辆轨道检索。 Track 3是一条全新的自然主义驾驶分析的轨道,该轨道是由安装在车辆内部的几台相机捕获的,该摄像头专注于驾驶员安全,而任务是对驾驶员的操作进行分类。 Track 4是另一个旨在仅使用单个视图摄像头实现零售商店自动结帐的新轨道。我们发布了两个基于不同方法的领导董事会成员提交,包括比赛的公共负责人委员会,不允许使用外部数据,以及用于所有提交结果的总管委员会。参与团队的最高表现建立了强大的基线,甚至超过了拟议的挑战赛中的最先进。
translated by 谷歌翻译
随着电子健康记录(EHR)在医疗保健设施中的广泛应用,深入学习的健康事件预测越来越受到关注。用于深度学习的预测的EHR数据的一个共同特征是历史诊断。现有的工作主要认为诊断为独立疾病,并不考虑访问中疾病之间的临床关系。许多机器学习方法假设疾病表示在患者的不同访问中是静态的。然而,在实际实践中,同时经常被诊断的多种疾病反映了有利于预后的隐藏模式。此外,疾病的发展不是静态,因为某些疾病可以出现或消失,并且在患者的不同访问中显示各种症状。为了有效利用这种组合疾病信息并探索疾病的动态,我们提出了一种使用动态疾病图表上的转换功能的新型背景感知学习框架。具体而言,我们构建一种具有多个节点属性的全球疾病共同发生图,用于疾病组合。我们为每位患者的访问设计动态子图,以利用全球和本地环境。我们进一步根据节点属性的变化来定义每次访问中的三个诊断角色,以模拟疾病过渡过程。两个真实世界EHR数据集的实验结果表明,建议的模型优于现有技术的预测健康事件。
translated by 谷歌翻译